Saline: Improving Best-Effort Job Management in Grids

Although virtualization technologies have recently gained a lot of interest in Grid computing as they allow flexible resource management, the most common way to exploit grids still relies on dedicated services like resource management systems (RMSs) to get resources at a particular time. To improve resource usage, most of these systems provide a best-effort mode where lowest priority jobs can be executed when resources are idle. This particular mode does not provide any guarantee of service and jobs may be killed at any time by the RMS when the nodes they use are subject to higher priority reservations. This behaviour potentially leads to a huge waste of computation time or at least requires users to deal with checkpoints of their best-effort jobs. In this paper, we present Saline, a generic and non-intrusive framework to manage best-effort jobs at grid level through virtual machines (VMs) usage. We discuss the main challenges concerning the design of such a grid system, focusing on VM snapshot management and network configuration. Results of preliminary experiments show the interest of our proposal to ensure an efficient execution of best-effort jobs through the whole grid

Saline: Improving Best-Effort Job Management in Grids

Although virtualization technologies have recently gained a lot of interest in Grid computing as they allow flexible resource management, the most common way to exploit grids still relies on dedicated services like resource management systems (RMSs) to get resources at a particular time. To improve resource usage, most of these systems provide a best-effort mode where lowest priority jobs can be executed when resources are idle. This particular mode does not provide any guarantee of service and jobs may be killed at any time by the RMS when the nodes they use are subject to higher priority reservations. This behaviour potentially leads to a huge waste of computation time or at least requires users to deal with checkpoints of their best-effort jobs. In this paper, we present Saline, a generic and non-intrusive framework to manage best-effort jobs at grid level through virtual machines (VMs) usage. We discuss the main challenges concerning the design of such a grid system, focusing on VM snapshot management and network configuration. Results of preliminary experiments show the interest of our proposal to ensure an efficient execution of best-effort jobs through the whole grid

Is Virtualization Killing Single System Image Research?

Nowadays, use of clusters in research centers or industries is undeniable. Cluster usage is typically based on two different models: (i) batch schedulers and (ii) single system image (SSI). In the first case, applications are scheduled by a ``supervisor'', the batch scheduler, according to cluster resources availability. In the second case, an SSI operating system (OS) gives the illusion that a distributed system is a standard SMP machine, allowing users to use standard UNIX tools to manage their applications. Even if SSI solutions are usually more complete in terms of functionality, batch schedulers are usually preferred because of their simplicity in term of both configuration and usage. Moreover, since few years, combining virtual machines and batch systems offer more advanced resource management capabilities, using features such as virtual machine live migration. Because of the latest contributions in the domain, some may argue that SSI technologies are now deprecated. In this paper, we analyze whether virtualization technologies will surpass the SSI approach, or if these two models are not contradictory but complementary. In fact, after evaluating different configurations, we show that by combining both approaches, we can improve several aspects associated to application computation such as flexibility of administration, simplicity of use, security and portability

Kget+: An efficient tool for managing VM image snapshots

National audienceVirtualization technologies have recently gained a lot of interest in Grid computing as they allow flexible resource management. However, designing and implementing a complete framework to build VM images, to deploy and configure them automatically and to manage them (with migration and snapshotting operations) remains a real challenge. In this paper, after enumerating these challenges, we focus on the VM image snapshot management issue and present our tool, called Kget+, able to manage VM image snapshots in a very efficient way

Flexibilité dans la gestion des infrastructures informatiques distribuées

This thesis focuses on flexibility in distributed IT infrastructure for administrators and users. From users point of view, they need on-demand resources fitting their application needs. For administrators, they set policies for resource allocation (policies for resource usage and safety) in order to meet the user application needs. We studied the issue of flexibility in the context of grids and clouds. First, we designed and implemented the Saline system. Saline is based on virtualization technology for the execution of besteffort jobs in grids. We also proposed the Grillade system which combines flexibility mechanisms provided by grids and clouds. This allow, firstly, to dynamically extend a grid with virtual resources provided by a cloud and secondly, to build IaaS clouds by federating resources provided by multiple sites. Grillade extends the XtreemOS grid system. It also allows to use single system image technology to provide to users virtual machines run on an aggregation of nodes. Finally, we propose a formalism to classify the resource management systems and to provide flexibility to define rules for combining them. Tropicbird system, based on this formalism, implements on-demand virtual platforms specified by users on the physical infrastructure.Cette thèse s'intéresse à la flexibilité dans les infrastructures informatiques distribuées du point de vue de leurs administrateurs et utilisateurs. Pour les utilisateurs, il s'agit de trouver au moment où ils en ont besoin des ressources matérielles adaptées avec un environnement personnalisé à l'exécution de leur application. Pour les administrateurs, il s'agit de définir les politiques d'allocation des ressources (politiques d'usage et de sécurité) pour les applications des utilisateurs. Nous avons étudié la problématique de la flexibilité dans le contexte des grilles et des centrales numériques (CN). Tout d'abord, nous avons conçu et mis en oeuvre le système Saline qui s'appuie sur la virtualisation pour permettre l'exécution de tout type de tâche en mode préemptif dans les grilles. Nous avons également proposé le système Grillade qui combine les mécanismes de flexibilité offerts par les grilles et les CN pour d'une part, étendre dynamiquement une grille avec des ressources virtuelles fournies par des CN et d'autre part, construire des nuages de type IaaS fédérant les ressources de plusieurs sites. Grillade étend le système de grille XtreemOS. Il permet en outre grâce à la technologie de système à image unique de proposer aux utilisateurs des machines virtuelles exécutées sur une agrégation de nœuds. Enfin, nous proposons un formalisme permettant de classer les systèmes de gestion de ressources offrant de la flexibilité et de définir des règles pour les combiner. Le système Tropicbird qui s'appuie sur ce formalisme met en œuvre, à la demande, des plates-formes virtuelles spécifiées par les utilisateurs sur une infrastructure matérielle

Flexibilité dans la gestion des infrastructures informatiques distribuées

This thesis focuses on flexibility in distributed IT infrastructure for administrators and users. From users point of view, they need on-demand resources fitting their application needs. For administrators, they set policies for resource allocation (policies for resource usage and safety) in order to meet the user application needs. We studied the issue of flexibility in the context of grids and clouds. First, we designed and implemented the Saline system. Saline is based on virtualization technology for the execution of besteffort jobs in grids. We also proposed the Grillade system which combines flexibility mechanisms provided by grids and clouds. This allow, firstly, to dynamically extend a grid with virtual resources provided by a cloud and secondly, to build IaaS clouds by federating resources provided by multiple sites. Grillade extends the XtreemOS grid system. It also allows to use single system image technology to provide to users virtual machines run on an aggregation of nodes. Finally, we propose a formalism to classify the resource management systems and to provide flexibility to define rules for combining them. Tropicbird system, based on this formalism, implements on-demand virtual platforms specified by users on the physical infrastructure.Cette thèse s'intéresse à la flexibilité dans les infrastructures informatiques distribuées du point de vue de leurs administrateurs et utilisateurs. Pour les utilisateurs, il s'agit de trouver au moment où ils en ont besoin des ressources matérielles adaptées avec un environnement personnalisé à l'exécution de leur application. Pour les administrateurs, il s'agit de définir les politiques d'allocation des ressources (politiques d'usage et de sécurité) pour les applications des utilisateurs. Nous avons étudié la problématique de la flexibilité dans le contexte des grilles et des centrales numériques (CN). Tout d'abord, nous avons conçu et mis en oeuvre le système Saline qui s'appuie sur la virtualisation pour permettre l'exécution de tout type de tâche en mode préemptif dans les grilles. Nous avons également proposé le système Grillade qui combine les mécanismes de flexibilité offerts par les grilles et les CN pour d'une part, étendre dynamiquement une grille avec des ressources virtuelles fournies par des CN et d'autre part, construire des nuages de type IaaS fédérant les ressources de plusieurs sites. Grillade étend le système de grille XtreemOS. Il permet en outre grâce à la technologie de système à image unique de proposer aux utilisateurs des machines virtuelles exécutées sur une agrégation de nœuds. Enfin, nous proposons un formalisme permettant de classer les systèmes de gestion de ressources offrant de la flexibilité et de définir des règles pour les combiner. Le système Tropicbird qui s'appuie sur ce formalisme met en œuvre, à la demande, des plates-formes virtuelles spécifiées par les utilisateurs sur une infrastructure matérielle

Flexibilité dans la gestion des infrastructures informatiques distribuées

Cette thèse s'intéresse à la flexibilité dans les infrastructures informatiques distribuées du point de vue de leurs administrateurs et utilisateurs. Pour les utilisateurs, il s'agit de trouver au moment où ils en ont besoin des ressources matérielles adaptées avec un environnement personnalisé à l'exécution de leur application. Pour les administrateurs, il s'agit de définir les politiques d'allocation des ressources (politiques d'usage et de sécurité) pour les applications des utilisateurs. Nous avons étudié la problématique de la flexibilité dans le contexte des grilles et des centrales numériques (CN). Tout d'abord, nous avons conçu et mis en oeuvre le système Saline qui s'appuie sur la virtualisation pour permettre l'exécution de tout type de tâche en mode préemptif dans les grilles. Nous avons également proposé le système Grillade qui combine les mécanismes de flexibilité offerts par les grilles et les CN pour d'une part, étendre dynamiquement une grille avec des ressources virtuelles fournies par des CN et d'autre part, construire des nuages de type IaaS fédérant les ressources de plusieurs sites. Grillade étend le système de grille XtreemOS. Il permet en outre grâce à la technologie de système à image unique de proposer aux utilisateurs des machines virtuelles exécutées sur une agrégation de nœuds. Enfin, nous proposons un formalisme permettant de classer les systèmes de gestion de ressources offrant de la flexibilité et de définir des règles pour les combiner. Le système Tropicbird qui s'appuie sur ce formalisme met en œuvre, à la demande, des plates-formes virtuelles spécifiées par les utilisateurs sur une infrastructure matérielle.This thesis focuses on flexibility in distributed IT infrastructure for administrators and users. From users point of view, they need on-demand resources fitting their application needs. For administrators, they set policies for resource allocation (policies for resource usage and safety) in order to meet the user application needs. We studied the issue of flexibility in the context of grids and clouds. First, we designed and implemented the Saline system. Saline is based on virtualization technology for the execution of besteffort jobs in grids. We also proposed the Grillade system which combines flexibility mechanisms provided by grids and clouds. This allow, firstly, to dynamically extend a grid with virtual resources provided by a cloud and secondly, to build IaaS clouds by federating resources provided by multiple sites. Grillade extends the XtreemOS grid system. It also allows to use single system image technology to provide to users virtual machines run on an aggregation of nodes. Finally, we propose a formalism to classify the resource management systems and to provide flexibility to define rules for combining them. Tropicbird system, based on this formalism, implements on-demand virtual platforms specified by users on the physical infrastructure.RENNES1-BU Sciences Philo (352382102) / SudocSudocFranceF

Donner du sens à la formation pour les publics dans les quartiers prioritaires.

Conférence d’introduction à la journée d’échanges : « La formation professionnelle dans les quartiers prioritaires rennais ». Région Bretagne – Réseau des Maisons de la Formation Professionnelle

Managing Virtual Resources: Fly through the Sky

International audienceVirtualization technologies have been a key element in the adoption of Infrastructure-as-a-Service (IaaS) cloud computing platforms as they radically changed the way in which distributed architectures are exploited. However, a closer look suggests that the way of managing virtual and physical resources still remains relatively static

Saline: Improving Best-Effort Job Management in Grids

International audienceAlthough virtualization technologies have recently gained a lot of interest in Grid computing as they allow flexible resource management, the most common way to exploit grids still relies on dedicated services like resource management systems (RMSs) to get resources at a particular time. To improve resource usage, most of these systems provide a best-effort mode where lowest priority jobs can be executed when resources are idle. This particular mode does not provide any guarantee of service and jobs may be killed at any time by the RMS when the nodes they use are subject to higher priority reservations. This behaviour potentially leads to a huge waste of computation time or at least requires users to deal with checkpoints of their best-effort jobs. In this paper, we present Saline, a generic and non-intrusive framework to manage best-effort jobs at grid level through virtual machines (VMs) usage. We discuss the main challenges concerning the design of such a grid system, focusing on VM snapshot management and network configuration. Results of preliminary experiments show the interest of our proposal to ensure an efficient execution of best-effort jobs through the whole grid